Caliper: Probing Lexical Anchors versus Causal Structure in LLMs
Caliper：探测LLM的词汇锚点与因果结构
🧭 因果推理评估 · 词汇锚点探针
Fudan University
通过替换变量名为占位符，揭示LLM的因果推理高度依赖词汇锚点而非结构推理，导致性能显著下降。
📌 工作参考价值（4 点）
- 在电商推荐中，若用LLM生成解释或因果发现，需警惕模型可能仅匹配预训练中的表面词汇（如“因为促销所以购买”），而非真正理解因果结构。可借鉴Caliper的匿名化测试来验证解释模型的鲁棒性。
- 为多Agent协作中的因果推理模块设计评估时，可采用变量名替换为占位符的方法，检查Agent是否依赖特定实体名称而非因果图，避免被虚假词汇相关误导。
- 在生成式推荐的场景中，如果利用LLM进行用户行为因果建模，应考虑在训练或微调时引入匿名化样本，以提升对未见变量名的泛化能力，减少对词汇锚点的过拟合。
- 该方法提供了一种通用的“压力测试”范式：任何依赖LLM做结构化推理的业务（如规则挖掘、归因分析），都可通过剥离语义词汇来探测模型是否学到了真正的结构，从而避免过度信任模型的表面表现。